Übertragung ethischer Bewertungen in das Design und die Ausgestaltung technischer Assistenzsysteme

The text illustrates first experiences und results of ethical considerations within “KOMPASS a project for socialcooperative virtual assistants as daily companions for persons with disabilities”. This contains an interdisciplinary workshop using “MEESTAR” – a model for the ethical evaluation of social-technical arrangements. The results of this workshop were concentrated into packages of questions which can be used for continuative ethical analysis and the discussion of ethical issues with potential users of the virtual assistants. 1 Das Projekt KOMPASS Das Projekt „KOMPASS – Sozial kooperative virtuelle Assistenten als Tagesbegleiter für Menschen mit Unterstützungsbedarf“ 1 wird mit einer Laufzeit von April 2015 bis März 2018 durch das Bundesministerium für Bildung und Forschung gefördert und dient der Erforschung und Entwicklung von so genannten virtuellen Assistenten (bzw. virtuellen Agenten), die als Tagesbegleiter für kognitiv beeinträchtigte Menschen, z. B. aus den Bereichen Altenund Behindertenhilfe, eingesetzt werden können. Beteiligt an dem Projekt sind folgende Partner:  Universität Bielefeld mit dem Exzellenzcluster „Cognitive Interaction Technology“ (CITEC) unter Mitwirkung der Arbeitsgruppen „Social Cognitive Systems“ sowie „Angewandte Informatik“ mit Expertise zur technischen Entwicklung anwendungsrobuster Systeme, wie virtueller Assistenten und konversationaler Agenten, und der Evaluation von interaktiven Systemen. 1 Nähere Informationen unter: https://scs.techfak.uni-bielefeld.de/kompass  Universität Duisburg-Essen mit dem Bereich „Sozialpsychologie – Medien und Kommunikation“ zur Erforschung von sozio-emotionaler Kommunikation, nonverbalem Verhalten und der sozialen Wirkungen von virtuellen Agenten sowie dem Arbeitsbereich „Institutionelle Kommunikation“ am Institut für Kommunikationswissenschaft für die empirische Untersuchung multimodaler Kommunikation und Interaktion in alltäglichen, professionellen und technikbasierten Settings.  Fachhochschule Bielefeld zur Bearbeitung rechtlicher Fragen durch die Nutzung von virtuellen Assistenten, z. B. bezüglich der Persönlichkeitsrechte der Nutzer_innen, des Datenschutzes oder des Haftungsrechts.  v. Bodelschwinghsche Stiftungen Bethel als Anwendungspartner, der u. a. den Zugang zu potenziellen Nutzer_innen in den Arbeitsfeldern Altenhilfe und Behindertenhilfe ermöglicht sowie Expertise in der Berarbeitung ethischer Fragen im Kontext des Sozialund Gesundheitswesens einbringt. Ziel des Projekts ist es, eine Assistenztechnologie zu entwickeln, die Menschen mit leichten kognitiven Beeinträchtigungen verlässlich durch den Tag begleiten kann, indem 396 Zukunft Lebensräume Kongress 2016 ∙ 20. – 21.04.2016, Frankfurt am Main ISBN 978-3-8007-4212-7 © VDE VERLAG GMBH ∙ Berlin ∙ Offenbach sie sich den kognitiven und emotionalen Fähigkeiten der jeweiligen Nutzer_innen anpasst. Im Fokus stehen dabei Fähigkeiten zur sozial kooperativen, „einfühlsamen“ Interaktion, um Verstehen, Akzeptanz und Unterstützung der Nutzer_innen zu gewährleisten. Hierfür werden beispielhaft zwei Funktionen entwickelt: ein Kalender, der Menschen bei der Teminverwaltung und Tagesstrukturierung unterstützen kann sowie Videotelefonie, um Kontaktaufnahme zu Personen aus dem sozialen Umfeld zu ermöglichen. Konkret werden im Rahmen des Projekts insbesondere folgende Themengebiete bearbeitet:  Verarbeitung sozialer Signale und Erkennung kognitiver sowie affektiver Nutzerzustände  Simulation kommunikativen Verhaltens und adaptive Dialogführung  Assisstenz durch Tagesbegleitung und Videokommunikation  Empirische Studien zu den nutzerspezifischen Wirkungen und Mechanismen dialogbasierter MenschTechnik-Interaktion  Evaluation der jeweiligen Prototypen mit Menschen im Alter oder mit kognitiven Beeinträchtigungen in ihrem Alltagsumfeld  Identifizierung und Bearbeitung ethischer und juristischer Fragen  Entwicklung eines Verwertungsund Anwendungskonzepts (im Rahmen eines Unterauftrags). Bild 1: Nutzung eines virtuellen Assistenten im Rahmen einer empirischen Studie zu sozio-emotionalen Effekten Zukünftig könnten virtuelle Assistenten als eine verbindende Schnittstelle zu unterschiedlichen Formen persönlicher und technischer Assistenz genutzt werden. So könnten sie Menschen mit kognitiven Beeinträchtigungen den Zugang zu diversen technischen Funktionen wie Internet, Notrufsystemen, Smart-Home-Elementen etc. erleichtern und zudem die Verbindung zum sozialen Umfeld und personalen Unterstützungsungdiensten bieten, z. B. zu Angehörigen, Freunden_innen, Bekannten, Betreuungsund Pflegepersonal, ehrenamtlichen Unterstützer_innen oder auch Anbietern von technischem Support. (Henne et al., 2014) 2 Bearbeitung ethischer Fragen im Rahmen von KOMPASS Das Projekt bearbeitet ethische Fragen mit Hilfe von drei Arbeitspaketen: 1. Innerhalb der ersten sechs Monate des Projekts wurde ein Workshop durchgeführt, in dem anhand des „Modells zur ethischen Evaluation sozio-technischer Arrangements“, kurz MEESTAR (nähere Darstellung siehe Abschnitt 4), die ethischen Aspekte der Nutzung virtueller Assistenten gemeinsam reflektiert wurden. Die Moderation erfolgte durch Prof. Dr. Arne Manzeschke vom Institut Theologie Technik Naturwissenschaft der Ludwig-Maximilians-Universität München, einem der Entwickler des MEESTAR-Ansatzes. Teil nahmen daran alle Personen, die an dem Projekt beteiligt sind (insgesamt 28), um gemeinsame Perspektiven und ethische Grundpositionen für die weitere Entwicklung des technischen Systems und die Durchführung von Studien zu entwickeln. Im dritten Projektjahr wird ein weiterer Workshop anhand dieses Modells stattfinden, mit dem die Umsetzung der Vereinbarungen evaluiert und geprüft wird, inwiefern im Projektverlauf noch weitere ethische Fragen identifiziert worden sind, die im Rahmen des Projekts oder darüber hinaus bearbeitet werden sollten. 2. In einem weiteren Arbeitspaket wird untersucht, wie der Einsatz technischer Assistenzsysteme aus Sicht von Diensten und Einrichtungen im Sozialund Gesundheitswesen systematisch reflektiert werden kann. Im Ergebnis sollen konkrete Empfehlungen zum Vorgehen bei solchen Reflexionsprozessen im Sozialund Gesundheitswesen stehen. 3. Über den Verlauf des Projekts hinweg werden die im Rahmen des ersten Ethik-Workshops getroffenen Vereinbarungen in regelmäßigen Treffen mit allen Projektpartnern reflektiert. Es wird geprüft, inwiefern sich aus den technischen Entwicklungen und empirischen Studien weitere ethische oder juristische Fragen ergeben. Auf Basis der Ergebnisse werden Festlegungen zur weiteren Bearbeitung ethischer Fragen sowie Vereinbarungen für die laufenden und zukünftigen empirisch-technischen Arbeiten im Projekt getroffen. 3 Einbindung der Perspektive von Nutzer_innen Um die Perspektive potenzieller Nutzer_innen in die Bearbeitung ethischer Fragen zu integrieren, orientieren sich die MEESTAR-Workshops an konkreten Fallbeispielen. Innerhalb von KOMPASS wurden dafür zwei fiktive Szenarien entwickelt, die hier zusammengefasst werden: 397 Zukunft Lebensräume Kongress 2016 ∙ 20. – 21.04.2016, Frankfurt am Main ISBN 978-3-8007-4212-7 © VDE VERLAG GMBH ∙ Berlin ∙ Offenbach Ein Szenario aus der Altenhilfe, bei dem eine 86jährige Frau mit einer leichten Demenz allein in ihrer Wohnung lebt und durch einen virtuellen Assistenten unterstützt wird. Dies bietet ihr Unterstützung in der zeitlichen Orientierung und Tagesstrukturierung, bei der regelmäßigen Einnahme von Medikamenten oder auch der Kontaktaufnahme mit Angehörigen per Videotelefonie. Das System führt bei der Frau aber auch manchmal zu Frustration, da sie sich eigentlich einen guten Gesprächspartner wünscht, der virtuelle Assistent dies aber nicht leisten kann. Für die Tochter der Frau bietet das System Entlastung, indem sie u. a. trotz räumlicher Entfernung ihre Mutter regelmäßig sehen und sich einen Eindruck von ihr und dem Zustand ihrer Wohnung machen kann. Die Mutter wiederum empfindet dies als Kontrolle und Bevormundung. Das zweite Szenario ist in der Behindertenhilfe verortet. Ein 33 Jahre alter Mann mit kognitiven Einschränkungen lebt allein in seiner Wohnung und wird durch eine virtuelle Assistentin unterstützt. Ausssehen und Stimme hat der Mann so eingerichtet, dass sie seiner „Traumfrau“ entspricht. Die virtuelle Assistentin erinnert an Termine und geplante Aktivitäten, wie Freizeitgestaltung oder Haushaltsführung, und bietet Hilfe beim Lesen von Texten im Internet und bei Videotelefonaten mit einem Betreuungsdienst sowie Freunden und Verwandten. In Zeiten, in denen der Mann verstärkt unter kognitiven Beeinträchtigungen leidet, fällt es ihm schwer, sich auf die Assistentin und das, was sie sagt, zu konzentrieren. Dann kommt es zu Missverständnissen und die Kommunikation muss zunächst abgebrochen werden. Von einer Beteiligung von Menschen mit kognitiven Beeinträchtigungen an den Workshops wurde abgesehen, da die Bearbeitung derart komplexer und zum Teil abstrakter ethischer Fragen zu Überforderungen geführt hätte. Beteiligt wurden aber Mitarbeiter_innen der v. Bodelschwinghschen Stiftungen Bethel mit Erfahrungen in der Altenund Behindertenhilfe, um sowohl ihre eigene Perspektive als potenzielle professionelle Nutzer_innen, als auch ihre Kompetenzen im Umgang mit kognitiv beeinträchtigten Menschen einzubringen. Die Ergebnisse der ethischen Reflexionsprozesse sollten im weiteren Projektverlauf möglichst auch mit Menschen im Alter und mit kognitiven Beeinträchtigungen gemeinsam diskutiert werden. Dies erfordert jedoch zunächst die Entwicklung kleinerer, den Zielgruppen methodisch und inhaltlich angepasster Formate. Die Ergebnisse daraus könnten dann wiederum in die weitere Entwicklung des technischen Systems eingebunden werden. 4 MEESTAR Modell zur ethischen Evaluation soziotechnischer Arrangements Das von Arne Manzeschke et al. entwickelte „Modell zur ethischen Evaluation sozio-technischer Arrangements“ (MEESTAR) bietet eine Herangehensweise, um sich der ethischen Evaluation sozio-technischer Arrangements zu nähern. Es ist für ein sehr breites Spektrum an Technologien nutzbar und soll dazu dienen, in strukturierter Weise ethisch problematische Effekte zu identifizieren. Das Modell (siehe Bild 2) betrachtet solche sozio-technischen Assistenzsysteme auf drei Ebenen: 1. Die individuelle Ebene, d. h. Nutzer_innen und ggf. das individuelle soziale Umfeld, wie Pflegepersonen, Nachbarn_innen; Ärzte_innen 2. Die organisationale Ebene, d. h. korporative Akteure wie Unternehmen als Anbieter von Technologien oder auch Träger im Sozialund Gesundheitswesen 3. Die gesellschaftliche Ebene, bei der es u. a. darum geht, wie man in dieser Gesellschaft leben will und welche Rechte und Pflichten man gegenseitig hat. Für diese drei Ebenen erfolgt die Bewertung jeweils entlang einer Reihe von ethischen Dimensionen: Fürsorge, Selbstbestimmung, Sicherheit, Gerechtigkeit, Privatheit, Teilhabe und Selbstverständnis. Es wird ein vierstufiges Bewertungssystem genutzt, das in seinen Kategorien von „aus ethischer Sicht völlig unbedenklich“ bis hin zu „Anwendung ist aus ethischer Sicht abzulehnen“ reicht. (Manzeschke et al., 2013) Bild 2: MEESTAR mit den ethischen Dimensionen auf der x-Achse, den Stufen der ethischen Bewertung auf der y-Achse und den Ebenen der ethischen Bewertung auf der z-Achse (Weber 2015, S.252). Das Modell wurde u. a. für Analysen im Kontext des Sozialwesens aufgegriffen: So z. B. von Alexander Dietz im Rahmen einer ethischen Evaluation der Robbe Paro, einem Emotionen simulierendem Roboter in Form eines Robbenbabys, der vorrangig in der Betreuung von Menschen mit Demenz eingesetzt wird, um Kontaktaufnahme und Kommunikation zu fördern (Dietz, 2014). Praktisch findet das Modell vorrangig in Form von interdisziplinären Workshops im Rahmen von Forschungsund Entwicklungsprojekten Anwendung, die Manzeschke als „transund interdisziplinär, kommunikativ und anwendungsorientiert“ charakterisiert. In diesen Workshops geht es weniger um die 398 Zukunft Lebensräume Kongress 2016 ∙ 20. – 21.04.2016, Frankfurt am Main ISBN 978-3-8007-4212-7 © VDE VERLAG GMBH ∙ Berlin ∙ Offenbach Vermittlung ethischer Fachexpertise; vielmehr werden mit dem Modell die moralischen Intuitionen der Teilnehmer_innen aufgegriffen und für das jeweilige Projekt fruchtbar gemacht (Manzeschke, 2015). Karsten Weber, ein Ko-Entwickler des Modells, spricht in diesem Kontext auch von einer „Gebrauchsethik“ und von „Empowerment“ der Teilnehmer_innen zur eigenen ethischen Reflexion. Das Ziel der Evaluationsprozesse beschreibt er folgendermaßen: „Zweck des Modells ist, dass die an der Entwicklung, dem Einsatz und der Nutzung altersgerechter Assistenzsysteme Beteiligten in die Lage versetzt werden, ihr professionelles Tun, ihr Produkt bzw. ihre Dienstleistung, aber auch die an ihnen erbrachte Pflegeund Gesundheitsversorgung auf normative Fallstricke hin überprüfen zu können und gegebenenfalls Änderungen in die Wege zu leiten.“ (Weber, 2015, S. 252 f.). MEESTAR bietet somit die Möglichkeit, auch in interdisziplinären Kontexten bzw. unter Beteiligung unterschiedlicher Stakeholder, einen Überblick zu erhalten, welche Aspekte der Nutzung von technischen Assistenzsystemen ethisch problematisch werden könnten. Damit reduziert es die Komplexität, die bei der Betrachtung solcher Systeme entsteht, beispielsweise durch die in der Regel hohe Zahl von Akteuren_innen in sozio-technischen Arrangements. Eine allgemeine und endgültige normative Bewertung ist nicht möglich, wie auch die Autoren_innen aufzeigen. (Manzeschke et al., 2013) MEESTAR kann nicht dazu dienen, einem Assistenzsystem oder einer Dienstleistung einen „ethischen Qualitätsstempel“ zu geben. Stattdessen kann das Modell in einem fortlaufenden Verfahren bei der Entwicklung, Implementierung und dem Einsatz von technischen Assistenzsystemen Aufmerksamkeit und Sensibilität für die sozio-technischen und psycho-sozialen Aspekte dieser Lösungen zu schaffen. (Weber et al., 2012) In den Darstellungen zu dem Modell finden sich (noch) keine Aussagen dazu, wie Folgeprozesse bzw. solche fortlaufenden Verfahren aussehen könnten, die die Ergebnisse eines MEESTAR-Evaluationsprozesses in die Praxis der Entwicklung und Nutzung sozio-technischer Assistenzsysteme überführen. Wie können beispielsweise die Ergebnisse einer Bewertung konkret in die Entwicklung und Ausgestaltung von Technologien und Dienstleistungsangeboten übertragen werden? Welche Schritte sind dafür erforderlich? Wie sollten Reflexionsprozesse aufgebaut werden, damit kontinuierlich, jeweils mit aktuellem Wissensund Erfahrungsstand auf allen drei Ebenen Individuum, Organisation und Gesellschaft geprüft werden kann, ob eine weitere Nutzung solcher Systeme aus ethischer Sicht angezeigt ist? Diese Fragen stellen sich auch im Projekt KOMPASS. Im folgenden sollen darum zunächst die zentralen Ergebnisse des ersten MEESTAR-Workshops und der aktuelle Stand ihrer weiteren Bearbeitung aufgezeigt werden, um daran anschließend Schlussfolgerungen für ähnliche Reflexionsprozesse zu ziehen, die auch für andere Projekte im Bereich der Nutzung und Entwicklung technischer Assistenzsysteme nützlich sein könnten. 5 Aktueller Stand der Ergebnisse Im Rahmen des MEESTAR-Workshops entstand eine Matrix, die die Bewertung in den sieben ethischen Dimensionen und aus den unterschiedlichen Perspektiven heraus widerspiegelt. Bei der Bewertung anhand der oben zusammengefassten Anwendungsszenarien wurde deutlich, dass es im Rahmen von KOMPASS keine Elemente oder Funktionen des virtuellen Assistenten gibt, die aus Sicht des Projektteams „aus ethischer Sicht unvertretbar“ und darum komplett abzulehnen wären. Darüber hinaus gibt es aber eine Reihe von Aspekten, die zwar ethische Sensibilität aufweisen, jedoch so eingeschätzt werden, dass in der Praxis darauf entweder durch einzelne Maßnahmen oder durch permanente Aufmerksamkeit reagiert werden kann. Eine detaillierte Darstellung aller Ergebnisse dieses Prozesses würde den Rahmen des vorliegenden Beitrags überschreiten. Darum sollen zur Veranschaulichung nur einige beispielhafte Aspekte aufgezeigt werden. Bild 3: Ausschnitt aus der Ergebnismatrix des MEESTARWorkshops im Projekt KOMPASS In der Dimension „Fürsorge“ wurden z. B. der Verlust von zwischenmenschlichen Beziehungen, der Ersatz von real existierenden Personen oder auch die Veränderung des Anspruchs an zwischenmenschliche Beziehungen aus Sicht der Gesellschaft als ethisch sensibel eingeschätzt. Auch deshalb gab es im Workshop die Empfehlung, dass die Nutzung eines solchen Systems bei Menschen mit kognitiven Beeinträchtigungen, d. h. Personen, die die Folgen der Nutzung vermutlich nicht vollständig durchdringen können, ausschließlich in Kombination mit personellen Unterstützungsleistungen eines Betreuungsoder Pflegediensts erfolgen sollte. In der Dimension „Selbstbestimmung“ wurde die Frage der Wahlfreiheit zwischen technischer und personaler Unterstützung in den Blick genommen. Es sollten Maß399 Zukunft Lebensräume Kongress 2016 ∙ 20. – 21.04.2016, Frankfurt am Main ISBN 978-3-8007-4212-7 © VDE VERLAG GMBH ∙ Berlin ∙ Offenbach nahmen ergriffen werden, damit diese dauerhaft gesichert werden kann. Ein weiteres Thema waren Datenschutz und -sicherheit, was in den Dimensionen „Sicherheit“ oder auch „Privatheit“ aufkam. Hier besteht aus Perspektive von Individuen oder auch Organisationen so hohe ethische Sensibilität, dass eine beständige Aufmerksamkeit erforderlich ist. Neben dieser Matrix als Ergebnis der MEESTAR-Analyse wurde in den Reflexionsprozessen innerhalb des Workshops deutlich, dass die konkrete Ausgestaltung des virtuellen Assistenten bezüglich der emotionalen Bindung zu den Nutzer_innen ein zentrales ethisches Thema darstellt. Es wurden zunächst drei unterschiedliche Rollenmodelle grob skizziert, in deren Spektrum sich ein virtueller Assistent bewegen könnte: a) Ein „sprechender Funktionsvermittler“, der innerhalb der Kalenderfunktion z. B. an Termine erinnert oder eine Videotelefonieverbindung aufbaut, aber ausdrücklich keinen emotionalen Bindungsaufbau bei den Anwender_innen intendiert. b) Eine „emotional zurückhaltender Gefährte“, der sich auf die jeweiligen Servicefunktionen konzentriert, aber in der Lage ist, emotionale Zustände der Nutzer_innen zu erkennen und darauf adäquat zu reagieren. Ein emotionaler Bindungsaufbau ist nur in soweit intendiert, als dies der Interaktion zwischen Mensch und Technik dient. c) Eine „emotionaler Begleiter“, der u. a. als Gesprächspartner agiert und emotional sensibel auf die Verfassung der Nutzer_innen reagiert. Die Diskussion zeigte, dass Version a) in der Praxis kaum möglich ist, da Menschen dazu neigen auch Bindungen zu Gegenständen aufzubauen oder sie zu „vermenschlichen“ (z. B. indem Autos menschliche Namen gegeben werden). Zudem erhöht eine emotionale Bindung in der Regel auch die Akzeptanz bei den Nutzer_innen und verbessert die Interaktion zwischen Mensch und Technik. Ein vollumfänglicher „emotionaler Begleiter“ hingegen wurde u. a. aufgrund des hohen Risikos, dass er zum Ersatz von menschlichen Beziehungen führen würde, aus ethischer Sicht abgelehnt. Das heißt, im weiteren Verlauf des Projekts gilt es, den „emotional zurückhaltenden Gefährten“ konzeptionell auszuarbeiten und in seiner Funktionalität im Detail ethisch zu reflektieren, um dies dann auf die technische (Weiter-)Entwicklung zu übertragen. Im Anschluss an den MEESTAR-Workshop wurde im Projektteam eine Gewichtung der aus der Matrix ersichtlichen Themen vorgenommen. Zentrale Frage dabei war, welche der Themen, neben der konzeptionellen Ausgestaltung des virtuellen Assistenten als „emotional zurückhaltenden Gefährten“, eine so hohe ethische Sensibilität aufweisen, dass sie im Rahmen des Projekts vertiefend bearbeitet werden sollten. Das Ergebnis wurde zu folgenden Fragenkomplexen geclustert: Zielgruppe Wie genau wird die bisher mit „Menschen mit leichten kognitiven Beeinträchtigungen“ beschriebene Zielgruppe definiert? Welche Kriterien werden hierfür angewendet? Wer erhält die Möglichkeit zur Nutzung? Soll das System z. B. frei zugänglich auf dem Markt und auch für Menschen ohne kognitive Beeinträchtigungen verfügbar sein? Sollte es bei Menschen mit Beeinträchtigungen nur in Kombination mit professioneller Unterstützung eingesetzt werden (hierfür wurde im Rahmen des MEESTAR-Workshops z. B. plädiert, s.o.)? Welche Auswirkungen hat die Zielgruppendefinition auf das Design und den Betrieb des Systems?